Mistral 8x7B
https://scrapbox.io/files/66a5de03d34879001ccc4c9c.png
モデルの一部を8倍に拡張したパラメータ数467億の大規模言語モデル
Metaの
Llama2
や、OpenAIの
GPT-3.5
とほとんどの指標で同等、もしくは上回るほどの高いレベルだった。
https://scrapbox.io/files/66a5de129a86c6001cb8dfd4.png